Description et indexation automatiques des documents multimédias : du fantasme à la réalité

National audienceL'INDEXATION AUTOMATIQUE DES documents multimédias a pour but de permettre, par le biais de techniques automatiques ou semi automatiques, l'exploitation de collections de documents. L'apparition de ce domaine de recherche, en ce qui concerne les images et les documents audiovisuels, date de la première moitié des années quatre-vingt-dix, et est donc encore récente. Son émergence a suscité un double mouvement, d'enthousiasme chez les chercheurs qui y ont vu un domaine nouveau d'investigation et qui, selon leur habitude, ont beaucoup promis afin d'attirer des financements pour mener leurs activités, et d'inquiétude chez certains professionnels de la documentation audiovisuelle qui y ont vu une remise en cause de leur métier, voire un danger de disparition de leur emploi. Quelques années ayant passé depuis ces débuts, il est intéressant de remettre les choses à plat. Quel est l'objet actuel de l'indexation automatique ? Quelles sont ses possibilités, ses applications ? Que peut-elle faire ou ne pas faire ? Quelles sont les perspectives ? C'est à ces questions que nous allons tenter de répondre

Dealing with Television Archives: Television Structuring

This paper investigates the problem of managing very large digital television archives. This problem is called television structuring (Or TV broadcast macro-segmentation) and is defined as the process of identifying the structure of a television stream as watchers perceive it: a succession of programs. This is the very first step in order to manage a television collection. In this report, a complete solution for television structuring is proposed, which makes use of simple yet efficient methods in order to deal with huge datasets. Methods from commercial detection are generalized to be able to distinguish regular programs from non-programs. It is shown how television program guides can be used to label the identified programs. It is finally shown how an update procedure can improve the segmentation results over time. Results are provided on 3 weeks of French television.Ce rapport de recherche s'intéresse à la structuration de larges volumes d'archives de télévision. Par structuration, nous entendons l'identification des programmes de télévision, leur début, leur fin, dans le flux, et donc le découpage de ce flux en une succession de programmes. Ceci est la toute première étape dans un processus d'indexation d'un flux de télévision, afin de le rendre facilement navigable et requêtable. Nous présentons une solution somplète basée sur des méthodes simples afin de pouvoir traiter de très importantes quantités de données. Nous généralisons des méthodes provenant de la détection de publicités télévisées afin de distinguer les programmes et les inter-programmes. Il est également montré comment les guides de programmes peuvent être utilisés afin d'étiqueter les programmes identifiés. Nous proposons finalement une procédure de mise à jour, qui permet d'obtenir des résultats constants au cours du temps. Des résultats sur trois semaines de télévision française permettent de vérifier l'efficacité des méthodes

A Variational Monte Carlo Study of the Current Carried by a Quasiparticle

With the use of Gutzwiller-projected variational states, we study the renormalization of the current carried by the quasiparticles in high-temperature superconductors and of the quasiparticle spectral weight. The renormalization coefficients are computed by the variational Monte Carlo technique, under the assumption that quasiparticle excitations may be described by Gutzwiller-projected BCS quasiparticles. We find that the current renormalization coefficient decreases with decreasing doping and tends to zero at zero doping. The quasiparticle spectral weight Z_+ for adding an electron shows an interesting structure in k space, which corresponds to a depression of the occupation number k just outside the Fermi surface. The perturbative corrections to those quantities in the Hubbard model are also discussed.Comment: 9 pages, 9 figure

Possible effects of charge frustration in Nax_xCoO2_2: bandwidth suppression, charge orders and resurrected RVB superconductivity

Charge frustration due to further neighbor Coulomb repulsion can have dramatic effects on the electronic properties of Na$_x$CoO$_2$ in the full doping range. It can significantly reduce the effective mobility of the charge carriers, leading to a low degeneracy temperature $\epsilon_F \lesssim T$. Such strongly renormalized Fermi liquid has rather unusual properties--from the point of view of the ordinary metals with $\epsilon_F \gg T$--but similar to the properties that are actually observed in the Na$_x$CoO$_2$ system. For example, we show that the anomalous thermopower and Hall effect observed in Na$_{0.7}$CoO$_2$ may be interpreted along these lines. If the repulsion is strong, it can also lead to charge order; nevertheless, away from the commensurate dopings, the configurational constraints allow some mobility for the charge carriers, i.e., there remains some ``metallic'' component. Finally, the particularly strong bandwidth suppression around the commensurate $x=1/3$ can help resurrect the RVB superconductivity, which would otherwise not be expected near this high doping. These suggestions are demonstrated specifically for a $tJ$-like model with an additional nearest neighbor repulsion.Comment: 15 pages, 17 figure

Matching and Clustering: Two Steps Towards Automatic Model Generation in Computer Vision

International audienceIn this paper, we present a general frame for a system of automatic modelling and recognition of 3D polyhedral objects. Such a system has many applications for robotics : recognition, localization, grasping,...Here we focus upon one main aspect of the system : when many images of one 3D object are taken from different unknown viewpoints, how to recognize those of them which represent the same aspect of the object ? Briefly, it is possible to determine automatically if two images are similar or not ? The two stages detailed in the paper are the matching of two images and the clustering of a set of images. Matching consists in finding the common features of two images while no information is known about the image contents, the motion or the calibration of the camera. Clustering consists in regrouping into sets the images representing a same aspect of the modeled objects. For both stages, expermiental results on real images are shown

Quelle information géométrique peut-on obtenir à partir d'une ou plusieurs images prises par projection perspective ?

Les travaux présentés dans cet article ont été réalisés au sein du projet Movi du laboratoire Lifia à Grenoble, par Boubakeur Boufama, Pascal Brand, Patrick Gros, Luce Morin, Long Quan et Francoise Veillon, le tout avec la participation et sous la direction de Roger Mohr. Les contributions de chacun seront précisées dans le fil du texte par les réferences bibliographiques, auxquelles le lecteur est invité à se reporter pour les détails techniques qui ne seront pas tous donnés ici. L'ensemble du travail a été réalisé dans le cadre du projet Esprit - Bra Viva.National audienceEn vision par ordinateur, on considère une camera qui prend des images. En supposant simplement que cette opération de prise de vue est d'un certain type géométrique, et plus précisément que c'est une projection perspective, on peut calculer à partir d'une ou de plusieurs images des quantités géométriques caractéristiques de la scène observée. Apres avoir étudié quelques modèles géométriques de cameras, les informations géométriques que l'on peut tirer d'une, deux, trois ou plusieurs images sont etudiées successivement

Using Quasi-Invariants for Automatic Model Building and Object Recognition: An Overview

International audienceWe address the problem of automatic model building for further recognition of objects. Our initial data are a set of images of an object. In a first stage, these images are put into correspondence using quasi-invariants, epipolar geometry and an approximation of the apparent motion by an homography. The different aspects of the objects may thus be computed and each aspect gives raise to a partial model of the object. In a second stage, these models and indexed in a data base which is used for recognition. This work is based on the idea that aspect graphs may (should?) be learned from examples rather than computed from CAD models, and that a planar representation associated with geometric quasi-invariants is a relevant tool for object recognition

Audio Event Detection in Movies using Multiple Audio Words and Contextual Bayesian Networks

International audienceThis article investigates a novel use of the well known audio words representations to detect specific audio events, namely gunshots and explosions, in order to get more robustness towards soundtrack variability in Hollywood movies. An audio stream is processed as a sequence of stationary segments. Each segment is described by one or several audio words obtained by applying product quantization to standard features. Such a representation using multiple audio words constructed via product quantisation is one of the novelties described in this work. Based on this representation, Bayesian networks are used to exploit the contextual information in order to detect audio events. Experiments are performed on a comprehensive set of 15 movies, made publicly available. Results are comparable to the state of the art results obtained on the same dataset but show increased robustness to decision thresholds, however limiting the range of possible operating points in some conditions. Late fusion provides a solution to this issue

De la détection d'évènements sonores violents par SVM dans les films

National audienceThis article studies the behaviour of a state-of-the-art support vector machine audio event detection approach, applied to violent event detection in movies. The events we are trying to detect are screams, gunshots, explosions. Contrary to others studies, we show that the state-of-theart approach does not lead to good results on this task. A study on the repartition of samples into subsets in a cross validation protocol helps explain those results and highlights a generalisation problem due to a polymorphism of considered classes. This polymorphism is demonstrated by the computation the divergence between the samples of the test database and the training database.Cet article étudie le comportement d'une approche classique, à l'état de l'art, pour la détection d'événements sonores par machines à vecteurs supports, appliquée à la détection d'événements violents dans les films. Les événements sonores considérés, liés à la présence de violence, sont les Cris, les Coups de feu et les Explosions. Nous montrons que, contrairement aux résultats d'autres études, l'approche état de l'art ne donne pas de bons résultats sur cette tâche. Une étude sur la répartition des échantillons en sous-ensembles dans un protocole de validation croisée permet d'expliquer ces résultats et met en évidence un problème de généralisation, dû au polymorphisme des classes considérées. Ce polymorphisme est démontré par un calcul de divergence entre les échantillons de la base de test et ceux de la base d'apprentissage